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Nutzeradaptive Dialogunterstutzung fur Sprachdialogsysteme 

Die Erfindung betrifft ein Verfahren zur nutzeradaptiven Dia- 
logunterstutzung bei Sprachdialogsystemen nach dem Oberbeg- 
5 riff des Patentanspruchs 1 . 

Zur Bedienung komplexer technischer Einrichtungen, insbeson- 
dere von Assistenzsystemen bei Kraf tf ahrzeugen, werden zuneh- 
mend Sprachdialogsysteme ( Spracherkennungssy s t erne ) einge- 
10 setzt, da hierbei angenommen wird, dass eine rein sprachliche 
Interaktion den Bediener der technischen Einrichtung weniger 
von seiner primaren Bedienungsaufgabe ablenkt, als dies eine 
haptisch-visuelle Bedienung bedingen wurde. 

Bei Sprachdialogsystemen besteht jedoch generell das Problem, 
15 dass man mit dem System unterschiedlich erfahrene Nutzer 

sprachlich moglichst optimal bedienen muss; beispielsweise 
einen Anf anger, der mit dem System nicht vertraut ist, oder 
aber einen Experten, welcher das System in alien Einzelheiten 
und Finessen kennt und beherrscht . Entsprechend dieser unter- 
20 schiedlichen Vertrautheit mit dem System werden andere Anfor- 
derungen an die Bedienung des Sprachdialogsystems gestellt. . 
Der Anfanger benotigt mehr Hilf estellung und Fuhrung durch 
das System, um dieses auf dem Wege des learning-by-doing ken- 
nen lernen zu konnen. Der Experte jedoch mochte eine mog- 
25 lichst schnelle und effektive Interaktion mit dem Sprachdia- 
logsystem. Daruber hinaus werden moderne Sprachdialogsysteme 
immer komplexer, da die Vielfalt der zu bedienenden Funktio- 
nen steigt. Dies impliziert, dass es in Zukunft nicht mehr 
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den Experten oder den Anf anger geben wird. Es wird Benutzer 
geben, die einen Teil der angebotenen Funktionalitaten haufig 
bedient und die in diesem Teil Experte sind, und es wird Be- 
nutzer geben, die sich wiederum nur in einem anderen Teil des 
5 Systems auskennen . 

Es existieren Sprachdialogsysteme bei welchen es dem System- 
nutzer moglich ist anzugeben, wie gut er mit dem System be- 
reits vertraut ist. Dement sprechend interagiert das Dialog- 
system mit dem Systemnutzer uber kurzere oder langere System- 

10 auSerungen (Sprachauf f orderungen) . Die Einstellen in Bezug 

auf den Vertrautheitsgrad sind jedoch durch den Systemnutzer 
aktiv einzugeben und die jeweiligen Einstellungen beziehen 
sich sodann auf den gesamten Dialog. Dies deckt somit nicht 
diejenigen Falle ab, bei denen ein Systemnutzer sich bei- 

15 spielsweise an sich recht gut mit dem Sprachdialogsystem aus- 
kennt, aber bei einem Dialogschritt vergessen hat, welche Au- 
fierung auf eine Sprachauf forderung durch das System erwartet 
wird, um im Dialog sinnvoll voranzuschreiten. Hier hilft es 
dem Systemnutzer nicht, dass er die Moglichkeit hat die Sys- 

20 temeinstellung in Bezug auf seinen Vertrautheitsgrad zu an- 
dern und hierdurch mitzuteilen, dass er mehr Unterstutzung 
durch das Sprachdialogsystem benotigt, da in den nachfolgen- 
den Dialogschritten diese Unterstutzung wiederum nicht mehr 
benotigt wird. Problematisch ist hierbei zudem, dass durch 

25 die erforderliche Eingabe des Vertrautheitsgrades die System- 
funktionalitat stark von der Selbsteinschatzung des System- 
nutzers abhangt . 

Es ist deshalb wunschenswert , dass das Sprachdialogsystem im 
Fall, dass der Systemnutzer Schwierigkeiten bei der Eingabe 
30 der notwendigen Sprachaufierungen hat, automatisch Unterstut- 
zung anbietet. Ein derartiges System wird in der Offenle- 
gungsschrif t US 2002/0147593 Al beschrieben. Hierbei ist das 
Sprachdialogsystem in der Lage zwei unterschiedlich detail - 
lierte Sprachauf forderung auszugeben, jeweils in Abhangigkeit 
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davon ob das System davon ausgeht ob es sich bei dem System- 
nutzer urn einen unterstutzungsbedurf tigen Anfanger oder urn 
einen versierten Experten handelt. Bei der Kommunikation mit 
einem Anfanger verwendet das Sprachdialogsystem Sprachauf f or- 
5 derungen (Prompt) in der fur solche Systeme ublichen Detail- 
lierungsgrad, gibt also ausreichend Hinweise auf die Art und 
Weise der im Rahmen des Dialoges sinnvoller Weise erwarteten 
NutzerauSerung. Handelt es sich bei dem Systemnutzer urn einen 
Experten, so wird nur eine verkurzte, optimierte Sprachauf - 

10 forderung ( ff tapered w Prompt) ausgegeben. In der Regel enthal- 
ten diese verkurzten Sprachauf forderungen keine oder nur sehr 
wendige erklarende oder unterstutzende Hinweise. Wahrend des 
Dialogverlauf es schatzt das Sprachdialogsystem kontinuierlich 
den Systemnutzer bezuglich seines Erf ahrungsgrades ein und 

15 gestaltet entsprechend seine Sprachauf forderungen. Da das 

System bei der Initiierung des Sprachdialoges nichts uber den 
Systemnutzer weis, werden zuersrt Sprachauf forderungen mit dem 
ublichen Detaillierung^grad. In denjenigen Fallen, in welchem 
im Laufe des Dialoges festgestellt wird, dass der Systemnut- 

20 zer uber eine gewisse Anzahl von aufeinander folgenden Dia- 
logschritten sinnvoll auf die Sprachf orderungen reagiert, 
wird davon ausgegangen, dass es sich hierbei urn einen Exper- 
ten handelt, worauf die dieser Einschatzung nachf olgenden 
Sprachauf forderungen in Form eines Short -Prompts erfolgen. Da 

25 diese Einschatzung jedoch fehlerhaft sein kann, wird die Aus- 
gabe von Short-Prompts nur solange fortgesetzt, solange der 
Systemnutzer auch fehlerfrei und sinnvoll auf- diese reagiert. 
Reagiert der Systemnutzer auf die Short -Prompts mit AuiSerun- 
gen, welche das Sprachdialogsystem nicht sinnvoll weiter ver- 

30 arbeiten kann, geht dieses dazu liber bei der wiederholten An- 
frage und nachfolgend wieder Sprachauf forderungen mit dem ub- 
lichen Detaillierungsgrad zu generieren. Eine Ruckkehr zur 
Verwendung der Short-Prompts erfolgt erst wieder nachdem wie- 
derum bei einer gewissen Anzahl von aufeinander folgenden Di- 
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alogschritten sinnvoll auf die detaillierten Sprachauf forde- 
rungen reagiert wurde. Dieses zuruckschalten den fur den un- 
erfahrenen Systemnutzer gedachten detaillierten Sprachauf for- 
derungen ist notwendig, da das Sprachdialogsystem einzig auf 
5 Grund der Art und Weise der AuSerung auf die Sprachauf forde- 
rung auf den Erf ahrungsgrad des Systemnutzers schliefien kann. 
Problematisch ist hierbei, dass in den Fallen, in welchen ein 
Experte beispielsweise auf Grund einer Ablenkung eine Fehl- 
eingabe vornimmt, dieser nachfolgend wiederholt und unnotig 
10 detaillierte Sprachauf forderungen erhalt, durch welche er 
sich gestort fuhlen konnte. 

Aufgabe der Erfindung ist es deshalb, eine nutzeradaptive Di- 
alogfuhrung fur Sprachdialogsysteme zu finden, welche uner- 

15 fahrene und erfahrene Systemnutzer unterscheidet , und daran 
angepasste Sprachauf forderungen so generiert, dass auch in 
denjenigen Fallen, in jvelchen ein erfahrender Nutzer inner- 
halb eines Dialogschrittes fehlerhaft reagiert hat, er in den 
nachf olgenden Schritten, ohne ;Nachteil fur unerfahrene Nut- 

20 zer, umgehend wieder wie ein erfahrener Nutzer behandelt 
wird. 

Die Aufgabe wird durch ein Verfahren mit den Merkmalen des 
Patentanspruchs 1 gelost . Vorteilhafte Ausgestaltungen und 
Weiterbildungen der Erfindung sind durch die Unteranspruche 
25 beschrieben. 

Bei dem Verfahren fur eine nutzeradaptive Dialogfuhrung gibt 
ein Sprachdialogsystem eine Sprachauf for derung aus, wobei 
hierauf das Sprachdialogsystem auf eine AuSerung durch den 
30 Systemnutzer wartet . Hierbei wird, um die NutzerauEerung zu 
verstehen, ein Spracherkenner aktiviert wird. Das Sprachdia- 
logsystem ist in der Lage unerfahrene und erfahrene Nutzer zu 
unterscheiden, wobei es unerfahrenen Nutzern eine detaillier- 
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te Sprachauf forderung ausgibt, wahrend bei erfahrenen Nutzern 
eine verkurzte Sprachauf forderung verwendet . In erfinderi- 
scher Weise wird dabei von Seiten des Sprachdialogsystems ein 
Dialogschritt mit einer verkurzten Sprachauf forderung (Ini- 
5 tierungssignal) initialisiert • Bei Ausbleiben einer AuSerung 
des Systemnutzer auf die verkurzte Sprachauf forderung wird 
sodann nach einer bestimmten Zeit (Erkenner-Timeout) eine de- 
taillierte Sprachauf forderung ausgegeben. In vorteilhaf ter 
Weise werden dem Systemnutzer also bei jedem Dialogschritt 

10 beide Arten von Sprachauf for derungen, eine verkurzte als auch 
eine detaillierte, zur Verfugung gestellt .. Dabei beginnt der 
Dialogschritt immer mit einer verkurzten Sprachauf forderung, 
so dass es dem erfahrenen Systemnutzer (Experte) also immer 
moglich ist die Initiative zu ergreifen; das hei£t, dass es 

15 diesem immer moglich ist uber die Art und Weise des Dialoges 
zu entscheiden. Dem erfahren Nutzer ist es somit immer Mog- 
lich in Bezug auf den Ablauf d^s Dialoges die Initiative zu 
ergreifen. Ist auch er' sich an einem Punkt des Sprachdialoges 
unsicher, welche Art oder Weise der SprachauSerung das 

2 0 Sprachdialogsystem an dieser Stelle erwartet, kann er einfach 
den Zeitablauf des Erkenner- Timeouts abwarten und erhalt so- 
dann eine detail lierte Sprachauf forderung, Bei den nachfol- 
genden Schritten kann sich der erfahrene Nutzer wieder gleich 
nach der verkurzten Sprachauf forderung auSern und den Dialog 

25 hierdurch beschleunigen. 

In Bezug auf die Gestaltung der verkurzten Sprachauf forderung 
ist es beispielsweise denkbar, diese auf die notwendigste In- 
formation oder auf einzelne, die eigentliche Detailinf ormati- 
on besonders bezeichnende Stichworte zu beschranken. Ander- 
30 seits kann in besonderes vorteilhaf ter Weise eine Effizienz- 
steigerung in Bezug auf den Ablauf des Sprachdialoges ge- 
schaffen werden, wenn die verkurzte Sprachauf forderung einzig 
durch eine neutrale, keine spezifische Information enthalten- 
des Audio-Signal erfolgt; beispielsweise vergleichbar mit der 
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Sprachauf forderung bei einem Telef onanrufbeantworter, bei 
welchem der Anrufer aufgefordert wird nach dem Signalton oder 
dem Piepston (,Beep*) zu sprechen. 

Die Effizienz des Verfahrens lasst sich weiter, insbesondere 
5 in Bezug auf unerfahrene Systemnutzer, dadurch steigern, dass 
in einer Speichereinheit protokolliert wird, wie haufig ein 
Systeinnutzer sich erst auf die Ausgabe der detaillierten 
Sprachauf forderung hin aufiert . AuSert sich ein Nutzer wieder- 
holt erst dann, das heifit reagiert er nie oder selten bereits 

10 auf die verkurzte Sprachauf forderung, so ist dies ein Hinweis 
darauf , dass es sich bei diesem urn einen unerfahrenen System 
nutzer handeln konnte. In diesem Falle kann in gewinnbringen- 
der Weise die Zeitspanne fur den Erkenner-Timeout , welcher 
den Zeitraum zwischen verkurzter und detaillierter Sprachauf - 

15 forderung definiert, verkiirzt werden. Eine sinnvolle Anzahl 

von fur eine Verkurzung des Erkenner- Timeouts notwendigen Wi- 
derholungen konnte auf^die Anzahl 3 voreingestellt werden ; 
d.h. AuJSert sich der Systemnutzer dreimal hintereinander erst 
auf die detaillierte Sprachauf forderung so wird der Erkenner- 

20 Timeout verkurzt, beispdelsweise halbiert . Hierdurch ware es 
auch einem unerfahrenen Systemnutzer moglich den Sprachdialog 
schneller zu Ziel zu fuhren. Es ist hierbei denkbar den Er- 
kenner-Timeout dann wieder auf die urspriingliche Zeitspanne 
zu setzen, wenn der Systemnutzer in einem der Dialogschritte 

25 bereits auf die verkurzte Sprachauf forderung hin reagiert ; 
selbstverstandlich ist es auch hier moglich diese Falle zu 
protokollieren und den Erkenner- Timeout erst nach mehreren 
sukzessiven Aufierungen auf eine verkurzte Sprachauf forderung 
wieder auf den ursprunglichen Wert hin zuruckzusetzen. 

3 0 In besonderer Weise konnte die Anderung des Erkenner-Timeouts 
(Verkurzung oder Verlangerung)'' auch derart gestaltet werden, 
dass diese sukzessive in mehreren Schritten erf olgt . So konn- 
te die Verkurzung oder nachtragliche Verlangerung des Erken- 
ner-Timeouts weniger abrupt erfolgen. Betragt die Anderung 
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fur jedes weitere Mai bei dem gleich wie das vorangegangene 
Mai reagiert wurde beispielsweise 10% der vorherigen Zeitdau- 
er der Erkenner- Timeouts, so wurde sich das System annahernd 
unmerklich an den Systemnutzer anpassen. Das bedeutet, dass 
5 fur jedes weitere Mai in dem der Systemnutzer sinnvoll erst 
auf die detaillierte Sprachauf f orderung reagierte der Erken- 
ner-Timeout verkurzt wurde, und dass er fur jedes weitere Mai 
in welchem er in Folge bereits sinnvoll auf die verkurzte 
Sprachauf f orderung hin antwortete der Erkenner -Timeout in 
10 Schritten wieder bis zum ursprunglichen Wert hin erhoht wur- 
de. Es ware hierbei moglich mit der Modifikation des Erken- 
ner-Timeouts bereits nach der ersten AuSerung des Systemnut- 
zers zu beginnen, was die Effizienz des Systems weiter stei- 
gern wurde. 

15 Eine weitere Ef f izienzsteigerung des Sprachdialogsystems 

lasst sich dadurch erzielen, dass dieses Barge- In fahig ges- 
taltet wird. Barge-In erlaubt es dem Systemnutzer, die 
Sprachauf forderungen eines Sprachdialogsystems durch eine ei- 
gene sprachliche Eingabe abzubrechen. Bei einer solchen 

20 sprachlichen Eingabe kann es sich zum einen um die vorzeitige 
Eingabe der vom System erwarteten AuSerung handeln, oder aber 
um andere den Sprachdialog beeinf lussende Angaben. Durch die- 
se sprachliche Eingabe wird die weitere Ausgabe der Sprach- 
auf f orderung unterbrochen. Dies bietet den Vorteil einer ef- 

25 fizienteren Interaktion mit dem System, indem der Sprachdia- 
log dadurch beschleunigt wird, dass der Systemnutzer Sprach- 
auf forderungen unterbrechen und stoppen kann. Hierdurch wird 
die Moglichkeit geschaffen, dass insbesondere ein erfahrener 
Systemnutzer, welcher bei einem Dialogschritt Hilf estellung 

30 benotigt, die " detaillierte Sprachausgabe bereits zu dem Zeit- 
punkt abbrechen kann, zu welchem er die fur die nachfolgende 
Sprachaufierung notwendigen Hinweise erhalten hat. 

In besonders vorteilhaf ter Weise wird durch die Erfindung ein 
Sprachdialogsystem geschaffen, welches dynamisch und schnell 
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auf das aktuelle Bedienverhalten eines Systemnutzers reagie- 
ren kann. 1st Systemnutzer mit dem Dialogsystem vertraut, so 
erlaubt das Verfahren eine effiziente Interaktion, da sofort 
nach der verkurzten Sprachauf f orderung (Initiiemngssignal) 
5 eine Sprachaufierung getatigt werden kann. Treten dagegen 

Schwierigkeiten in Bezug auf die zu tatigende SprachauSerung 
auf, so reagiert das Sprachdialogsystem entsprechend, indem 
es eine unterstutzende Sprachauf f orderung ausgibt. Dabei ist 
durch der Sprachdialog durch das erf inderische Verfahren 

10 gleichzeitig so flexibel ausgelegt, dass falls es zu Schwie- 
rigkeiten bei einem der Dialogschritte kommt, dies keine Aus- 
wirkungen auf die Reaktionsf ahigkeit bei den nachf olgenden 
Schritten hat. Hat ein Systemnutzer beispielsweise nur des- 
halb Schwierigkeiten mit der abzugebenden Sprachaufierung, da 

15 er gerade abgelenkt war, so wird ihm eine unterstutzende 

Sprachauf f orderung prasentiert, auf die er antworten kann. 
Bei dem nachsten Dialogschritt 'hat er jedoch wieder die Mog- 
lichkeit, sich sofort nach der verkurzten Sprachauf f orderung 
(Initiierungssignal) zu aufiern und somit den kurzeren und ef- 

20 fizienteren Weg durch den Sprachdialog zu wahlen. 
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Patent anspruche 



5 1. Verfahren fur eine nutzeradaptive Dialogf uhrung fur ein 
Sprachdialogsystem, 

bei welchem durch das Sprachdialogsystem eine Sprachauf - 
forderung ausgegeben wird, 

wobei hierauf das Sprachdialogsystem auf eine AuSerung 
10 durch den Systemnutzer wartet, wobei hierzu, urn die Nut- 

zerauSerung zu verstehen, ein Spracherkenner aktiviert 
wird, 

wobei das System unerfahrene und erfahrene Nutzer unter- 
scheidet und es unerfahrenen Nutzern eine detaillierte 
15 Sprachauf forderung ausgibt, wahrend bei erfahrenen Nut- 

zern eine verkurzte Sprachauf forderung verwendet, 

dadurch gekennzeichnet, 
dass von Seiten des Sprachdialogsystems ein Dialogschritt 
mit einer verkurzten Sprachauf forderung initial is iert 
20 wird, 

worauf bei Ausbleiben einer AuSerung des Systemnutzer auf 
die verkurzte Sprachauf forderung nach einer bestitnmten 
Zeit (Erkenner-Timeout) eine detaillierte Sprachauf forde- 
rung ausgegeben wird. 
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2 . Verf ahren nach Anspruch 1 , 

dadurch gekennzeichnet, 

dass die verkiirzte Sprachauf f orderung in Form eines kur- 

zen akustischen Signals (Piepston) erfolgt. 

5 

3 . Verf ahren nach einem der Anspruche 1 oder 2 , 

dadurch gekennzeichnet, 
dass dann, wenn sich der Systetnnutzer wiederholt nicht 
auf die verkiirzte Sprachauf f orderung aufiert, die Zeit- 
10 spanne fur den Erkenner - Timeout , nach welchem eine de- 

taillierte Sprachausgabe erfolgt, verkurzt wird. 

4 . Verf ahren nach Anspruch 3 , 

dadurch gekennzeichnet, 
dass die Verkurzung der Zeitspanne fur den Erkenner- 
15 Timeout mit zunehmender Anzahl von nicht erfolgt en AuSe- 

rungen auf die verkiirzte Sprachauf f orderung in mehreren 
Stufen erfolgt, 

5. Verf ahren nach Anspruch 3 oder 4, 
dadurch gekennzeichnet, 

20 dass dann, wenn sich der Systetnnutzer bereits auf die 

verkiirzte Sprachauf f orderung hin meldet, die Zeitspanne 
fur den Erkenner-Timeout , verlangert wird. 

6. Verf ahren nach einem der vorhergehenden Anspruche, 
dadurch gekennzeichnet, 

25 dass das Sprachdialogsystem so ausgestaltet wird, dass es 

dem Systemnutzer moglich ist durch vorzeitige Eingabe von 
SprachauEerung (Barge- In) die Ausgabe der Sprachauf f orde- 
rung zu unterbrechen. 
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